基于Hadoop的云安全存储系统的设计与实现

【摘要】云计算是分布式计算、并行计算和网格计算的发展,给人类生活、生产方式和商业模式带来根本性改变,是当前全社会关注的热点之一。云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显出来,安全问题已成为阻碍云计算和云存储发展的关键因素。Hadoop是Apache软件基金会下的一个开源分布式计算平台,为开发者提供了一个分布式系统的基础架构,用户可以在不了解分布式系统底层细节的情况下开发分布式应用。分布式文件系统HDFS作为Hadoop的核心组件,具有强大的存储能力,适合作为云存储系统,但是其设计上存在一些缺陷,仍在不断发展之中,存在改进与完善的空间。本文研究了HDFS多副本存储技术和身份认证技术,针对其中存在的问题提出了改进方法。研究了基于Hadoop的云计算环境下数据存储的安全问题,设计了云安全存储系统,且实现了系统原型。主要工作如下：(1)分析了HDFS多副本存储方案存在的存储效率不高、容易出现负载不均衡的问题,提出了一种基于信息分散法的分布式存储方案,设计了一个改进的文件块存放策略,进行了仿真实验,验证了方案的有效性。(2)指出了HDFS系统的身份认证存在用户容易被冒充等问题,设计了一个安全有效的一次性口令身份认证方案,使用该认证方案与HDFS身份认证结合的方式来对用户进行身份认证,提高HDFS的安全性。(3)采用JSP等技术结合HadoopAPI开发了一个基于Hadoop的云安全存储系统,可视化了HDFS的操作界面,实现了文件的加密传输、权限控制、安全共享等,克服了HDFS系统中数据明文传输及存储存在的安全隐患,提高了用户数据的安全性。论文的创新之处包括：(1)提出一种基于信息分散算法的分布式存储方案,设计的改进的文件块存放策略,改善了HDFS的存储负载均衡能力；(2)设计了一个安全有效的一次性口令身份认证方案,将该口令身份认证方案与HDFS认证相结合来提高HDFS的安全性；(3)设计了基于Hadoop的云安全存储系统,实现了系统原型。
【作者】蒋向阳；
【导师】凌捷；
【作者基本信息】广东工业大学，计算机科学与技术，2014，硕士
【关键词】Hadoop；云存储；HDFS；存储策略；身份认证；

【参考文献】
[1]肖琳.AB公司投资房地产项目风险控制体系研究[D].安徽大学,工商管理,2014,硕士.
[2]王惠.油画风景中章法布局的比较分析[D].河北师范大学,美术学,2012,硕士.
[3]林笑智.消费者感知的企业道德对购买意愿的作用机制研究[D].浙江理工大学,企业管理,2014,硕士.
[4]马利捷.翻译家茅盾研究[D].河北大学,英语语言文学,2014,硕士.
[5]庄媛,于飞,马杰,陈君红.石墨烯去除水中重金属和抗生素的研究进展[J].功能材料,2014,23:23001-23009.
[6]郭澄阳.氧化锌量子点基光电材料与器件研究[D].中国科学院研究生院(长春光学精密机械与物理研究所),2014.
[7]徐杰.益气通脉口服液治疗冠心病心绞痛的临床观察[D].湖北中医学院,中西医结合内科学,2004,硕士.
[8]梁超.基于3S的5.12地震北川县植被破坏及变化分析[D].北京林业大学,工程绿化,2013,硕士.
[9]杨毅.建筑能耗监控软件平台设计与实现[D].大连理工大学,软件工程（专业学位）,2013,硕士.
[10]丛家民.校园文化视域下高校校园电视台的建设研究[D].东北师范大学,广播电视艺术学,2012,硕士.
[11]许譞.我国城市商业银行信贷风险预测研究[D].南京农业大学,金融学,2012,硕士.
[12]郝旺春.管式膜液固两相流清洗系统的研究[D].天津工业大学,材料学,2004,硕士.
[13]陈佩佩.中国—东盟自由贸易区框架下泰国企业扩大对华直接投资研究[D].华东师范大学,企业管理,2013,硕士.
[14]李美佳.高平创作的弦乐四重奏《天光云景》的分析[D].中国音乐学院,音乐学,2012,硕士.
[15]赵群.冻胶类调剖剂性能评价方法及适用条件研究[D].大庆石油学院,油气田开发工程,2004,硕士.
[16]刘谦.对洛阳市民防组织管理体制的研究[D].河南科技大学,工商管理（专业学位）,2013,硕士.
[17]张攸民.美国西屋电气公司的微机分散控制系统WDPF[J].发电设备.1993(01)
[18]沈恒超.行业协会管理体制研究：基于国家与社会关系的分析[D].清华大学,管理科学与工程,2003,硕士.
[19]李昱菲.高新技术企业知识管理能力对企业绩效的影响研究[D].哈尔滨工业大学,企业管理,2013,硕士.
[20]孙彦哲.A市国土资源局人力资源管理问题与对策研究[D].中国地质大学（北京）,公共管理,2014,硕士.
[21]刘进宝.水电站地下厂房岩锚吊车梁结构数值分析[D].大连理工大学,工程力学,2004,硕士.
[22]范文婷.基于.NET的小区物业管理系统的设计与实现[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[23]宋成龙.基于顾客体验视角下的顾客品牌关系影响的实证研究[D].武汉纺织大学,设计艺术学,2013,硕士.
[24]黄长征.300MN模锻水压机动梁驱动系统动态响应特性及速度控制研究[D].中南大学,2007.
[25]闫庆融.砂卵石地层圆形深基坑排桩支护结构土压力计算方法研究[D].西南交通大学,岩土工程,2014,硕士.
[26]郝彦斐.Fe-Nd-Al系非晶合金磁性机理的研究[D].上海大学,材料学,2013,硕士.
[27]罗文骥,钱植之.电气化铁道干式所用变压器的研制和开发[J].铁道机车车辆.2000(04)
[28]李岚.曼斯菲尔德短篇小说艺术新探[D].吉林大学,比较文学与世界文学,2004,硕士.
[29]贺明梅.中国新能源产业发展问题研究[D].吉林大学,产业经济学,2013,硕士.
[30]汪晨宇.基因工程与基因组重排技术构建酿酒酵母高效木糖发酵菌株及甘油发酵菌株[D].天津大学,生物化学与分子生物学,2013,硕士.
[31]王崧.湖北联通WCDMA无线网络规划[D].南京邮电大学,电子与通信工程（专业学位）,2012,硕士.
[32]郭绚霞.新时期高校学生干部培养研究[D].湖南大学,思想政治教育,2013,硕士.
[33]赵春胜.A公司东北区域营销战略研究[D].云南财经大学,工商管理（专业学位）,2013,硕士.
[34]胡俊伟.压缩感知在通信中的应用研究[D].杭州电子科技大学,通信与信息系统,2014,硕士.
[35]沈天津.CHD2调控大脑皮层发育过程中神经前体细胞的增殖与分化[D].安徽大学,细胞生物学,2014,硕士.
[36]姜书航.我国海洋工程环境污染防治法律问题研究[D].大连海事大学,法律,2013,硕士.
[37]梁丽婷.成长中的人物命运的生动艺术写照[D].南京师范大学,比较文学与世界文学,2012,硕士.
[38]吴巧燕.高职院校德育课程开发研究[D].南昌大学,高等教育学,2012,硕士.
[39]任伟强.包装用塑料薄膜的二次加工[J].中国包装.1989(01)
[40]刘德平.基于盐渍化灌区水土环境安全的优化施肥模式研究[D].内蒙古农业大学,农业水土工程,2014,博士.
[41]姚家平,蒋秋元,包津梁.武钢3~#顶底复吹转炉底吹供气自动控制系统[J].冶金自动化,1988,06:23-27.
[42]郝志民.新加越鞠丸对非酒精性脂肪肝大鼠作用机理的实验研究[D].青岛大学,中西医结合临床,2013,硕士.
[43]朱明冬.变质处理和热处理对Al-Si合金组织及性能的影响[D].哈尔滨工业大学,材料加工工程,2013,硕士.
[44]衡培银.基于机器视觉的管状药型端面尺寸检测研究[D].中北大学,航空宇航制造工程,2014,硕士.
[45]柳涛.腺苷诱发的成熟鼠胶状质细胞的突触后反应[D].江西医学院,儿科,2003,硕士.
[46]栾曙光.服务于远程设备监测诊断的电子商务网站的关键技术研究[D].北京工业大学,2003.
[47]杨彬.基于患者病症门诊综合导医系统的设计与实现[D].西南交通大学,电机与电器,2014,硕士.
[48]刘虎飞.马克思主义视阈中思想政治教育的人学理论与现实建构[D].兰州理工大学,思想政治教育,2014,硕士.
[49]朱家新,梁卜义.CRC方式在PCM基群复用设备中的应用[J].光通信研究.1989(01)
[50]葛成冈.长江口鳗苗网对鱼类早期资源损害性的分析[D].上海海洋大学,水生生物学,2013,硕士.